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个 性 化 搜索 5| 擎 技术 人 研究 


顾 立 平 
(国立 台湾 大 学 图 书 资讯 系 , 台湾 台北 100671) 


摘 ”要 :个 性 化 搜索 引 党 是 一 种 用 户 驱 动 网 页 排名 结果 的 优化 方式 。 基 于 本 体 和 语义 网, 用户 建 模 可 以 作出 准确 的 
查询 结果 , 它 包 括 : 限定 搜索 方式 、 过 滤 搜 索 结 果 , 以 及 成 为 搜索 过 程 等 3 种 方式 。 因 此 ,个 性 化 搜索 引擎 用 户 模型 可 
被 视 为 用 户 驱动 个 性 化 搜索 服务 的 模型 。 研 究 结论 是 整合 前 人 研究 并 且 提 出 “ 用 户 行 为 (用 户 兴趣 .用 户 偏好 \ 用 户 
查询 记录 ) 用 户 文档 ( 用 户 行为 与 关键 词组 )- 用 户 建 模 ( 相关 性 算法 与 排名 算法 ) - 个 性 化 服务 ”的 新 模型 ,可 作为 


数字 图 书馆 发 展 个 性 化 搜索 引擎 的 指引 。 
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马 ! 技术 : 优化 搜索 引擎 的 方法 


CCL 1 用 户 建 模 限定 搜索 方式 
与 ”一 个 简单 (或 直接 的 ) 实现 个 性 化 搜索 引擎 的 方式 , 就 
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图 书馆 。 

如 前 所 述 , 搜索 引擎 和 数据 库 检索 系统 的 先天 条 件 和 
解决 问题 模式 不 同 ,目前 的 个 性 化 数字 图 书馆 系统 和 个 性 
化 搜索 引擎 也 有 所 不 同 。 然 而 ,以 用 户 建 模 来 限定 搜索 方 
式 的 个 性 化 搜索 引擎 技术 并 不 复杂 ,因为 它 的 诬 层 技术 就 


《9 是 在 用 户 搜索 之 前 , 预 设 它们 的 用 户 兴 趣 ( interesb 或 用 
天 - 户 偏 好 (preferences) 。 当 用 户 登 和 系统 后 ,系统 在 用 户 先 
A 前 所 指定 的 主题 领域 内 ,或 者 文献 类 型 内 ,或 者 文献 / 网 页 
发 布 时 间 内 等 ,有 范围 地 进行 检索 。 这 是 一 般 数 字 图 书馆 
: -信息 检索 系统 所 采用 的 个 性 化 系统 模式 。 目 前 , 这 种 方式 
Pi 在 个 性 化 搜索 引擎 系统 中 的 应 用 不 多 , 但 是 具有 两 个 重要 
趋势 , 值得 数字 图 书馆 参考 。 
。 (了 ) 整合 用 户 兴 趣 的 表单 、 用 户 偏 好 的 设 定 以 及 网 页 
排名 算法 , 进行 个 性 化 搜索 服务 。 具体 技术 线路 为 : 结合 
汪 经 典 的 平面 排名 名 单 和 搜索 引 警 , 让 用 户 通过 选择 具有 层 
次 结构 的 文件 夹 标签 (主题 ), 以 交互 方式 查询 , 在 浏览 过 
程 中 进行 知识 提取 、 查 询 优 化 和 搜索 结果 个 性 化 。 这 种 服 
务 模式 与 个 性 化 数字 图 书馆 相似 , 但 是 更 着 重用 户 在 浏览 
过 程 中 的 二 次 查询 、 根 据 结果 进 一 步 查询 , 以 及 结合 其 它 
情报 分 析 系 统 的 辅助 查询 等 设计 。 可 说 是 个 性 化 数字 图 
书馆 的 进化 版 本 。 

(2) 从 用 户 行为 中 , 建立 用 户 文 档 , 将 用 户 文档 与 领域 
本 体 ( 关键 词组 的 关联 设 定 ) 结合 , 进行 个 性 化 搜索 服务 。 
具体 技术 线路 为 :分 析 用 户 的 点 击 记录 、 估 计 用 户 兴趣 建 
立 本 体 、 利 用 本 体 替 代用 户 当前 查询 的 词汇 。 当 计算 用 户 
兴趣 以 优化 查询 过 程 时 , 需要 能 够 有 效 地 识别 用 户 喜好 以 
及 为 每 个 用 户 建立 一 个 配置 文件 , 一 旦 这 样 的 配置 文件 是 
可 用 的 , 还 需要 在 众多 查询 相 匹 配方 案 中 确定 用 户 兴 趣 
集 。 因 此 ,这 套 模 式 的 “用 户 行为 "是 指 用 户 兴 趣 和 用 户 偏 
好 。 根 据 这 套 模 式 , 可 以 发 展 出 另 一 种 类 型 的 个 性 化 数字 


是 在 用 户 检索 式 之 前 , 加 上 系统 预 设 的 检索 式 , 然后 进行 
搜索 。 由 于 搜索 引擎 的 查询 ( query) 多 半 不 会 要 求 用 户 输 
入 检索 公式 , 而 只 让 用 户 输入 关键 词 ( keyword) , 所 以 用 户 
仿佛 感觉 到 这 是 一 种 个 性 化 搜索 , 事实 上 , 多 数 数字 图 书 
馆 所 采用 的 这 一 技术 只 是 隐藏 起 部 分 数据 库 检 索 系 统 的 
条 件 式 。 然 而 , 在 个 性 化 搜索 引擎 当中 , 其 底层 技术 是 相 
同 的 , 但 是 堆 加 技术 却 又 千变万化 , 个 性 化 数字 图 书馆 可 
予以 借鉴 。 
1.2 用 户 建 模 过 滤 搜索 结果 

如 果 用 户 建 模 限 定 搜索 结果 中 的 用 户 兴 趣 和 用 户 偏 
好 交织 成 一 张 渔网 ,那么 用 户 建 模 过 滤 搜 索 结 果 中 的 用 户 
兴趣 和 用 户 偏好 就 是 一 个 双 层 漏斗 。 其 原理 是 相同 的 , 就 
是 把 搜索 结果 进行 删 选 或 过 滤 , 前 者 发 生 在 搜索 之 前 , 后 
者 发 生 在 搜索 之 后 。 不 过 ,后 者 的 底层 技术 相对 来 说 较为 
复杂 。 目 前 , 这 种 方式 在 个 性 化 搜索 引擎 系统 中 的 应 用 较 
多 , 具有 两 个 重要 趋势 ,值得 数字 图 书馆 参考 。 

(1 根据 网 页 内 容 , 进行 数据 元 ( 文献 或 网 页 内 容 的 最 
小 单位 , 其 概念 与 元 数据 不 同 , 其 “ 元 meta” 是 指 单位 unit 
而 非 后 设 post- 的 概念 ) 拆 解 与 分 析 。 具 体 技术 线路 为 : 
根据 结构 化 网 页 记录 (record) 发 展 一 项 封包 技术 (wrarr 
per) , 包括 : 以 删 选 规 则 (filtering rules) 过 滤 无 关 信 息 、 以 
树 状 匹配 算法 (tree matching algorithm) 将 数据 抽取 提速、 
以 频率 算法 检测 数据 元 的 数量 和 规模 以 数据 比 对 算法 进 
行 和 迭代 和 析 取 , 以 及 用 合并 和 分 割 数据 法 来 解决 数据 元 识 
别 的 问题 。 这 种 模式 可 以 强化 元 搜索 引擎 对 大 量 网 站 数 
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据 的 处 理 速度 ,同时 让 个 性 化 搜索 引擎 跨越 异 构 资源 , 在 
资源 集成 的 状况 下 还 能 达到 个 性 化 服务 功能 。 

(2 从 文献 内 容 中 抽取 关键 词汇 , 并 结合 用 户 检索 记 
录 , 建立 用 户 文档 以 进行 个 性 化 服务 。 具 体 技 术 线 路 为 : 
从 查询 结果 的 网 页 片段 去 识别 相关 查询 词汇 , 同时 用 凝聚 
聚 类 算法 产生 个 性 化 查询 集群 , 以 增强 个 性 化 搜索 引擎 的 
聚 类 效果 ; 或 者 , 以 自 组 织 地 图 算法 (self organizing map 
algorit hm, SOM) 在 用 户 检 索 后 建立 用 户 兴 趣 资料 库 , 以 
文本 挖掘 的 方法 来 优化 个 性 化 搜索 的 差异 性 结果 , 由 搜索 
引擎 提示 语义 相关 的 查询 词汇 的 这 种 模式 , 可 以 使 用 户 可 
以 按照 反映 他 们 信息 需求 的 建议 选择 搜索 词汇 。 

简单 比较 ,在 用 户 建 模 限 定 搜索 结果 中 ,用户 预先 设 
定 了 检索 式 , 而 这 个 前 段 检索 式 被 信息 系统 隐藏 了 起 来 ， 
如 果 个 性 化 搜索 得 不 到 用 户 所 需 信 息 , 则 要 不 用 户 承 认 自 
己 原先 的 设 定 不 完美 ,要 不 用 户 选择 全 部 的 “用 户 兴 趣 ” 和 
取消 所 有 的 ' 用 户 偏 好 ”( 形 同 放 弃 个 性 化 搜索 ) 则 可 获得 
相关 信息 。 这 种 模式 下 的 个 性 化 数字 图 书馆 是 让 找 不 到 信 
息 的 用 户 * 哑巴 吃 黄 莲 , 有 苦 说 不 出 。 但 是 在 用 户 建 模 过 
滤 搜 索 结果 中 , 用 户 建 模 设 定 的 是 后 段 检索 式 , 用 户 在 检索 
后 , 系统 自动 再 次 检索 , 并 隐藏 起 这 部 分 的 后 段 检索 式 ， 
此 用 户 不 会 陷入 是否 个 性 化 ” 的 选择 , 而 是 进入 已 经 为 您 
个 性 化 搜索 了 ”的 过 程 。 从 某 种 意义 上 来 说 , 这 是 一 种 ' 不 
作恶 ( Don t be evij)” 的 作风 , 也 就 是 个 性 化 搜索 系统 愿意 
承担 用 户 找 不 到 信息 的 责任 , 而 不 是 推卸 给 终端 用 户 。 

1.3 用户 建 模 成 为 搜索 过 程 

用 户 建 模 可 以 成 为 搜索 引擎 的 渔网 和 漏斗 , 在 用 户 检 
索 前 后 进行 预先 设 定 检索 式 和 自动 二 次 检索 (及 其 相关 性 
推荐 ) 的 功能 。 用 户 建 模 也 可 成 为 魔方 盒 , 在 用 户 检索 中 
进行 多 重 检索 结果 的 最 优化 匹配 。 其 底层 技术 较 前 两 者 
更 为 复杂 , 虽然 建立 在 前 两 者 的 搜索 结果 和 技术 方法 上 ， 
但 是 其 技术 路 线 和 前 两 者 截然 不 同 。 它 具有 两 个 重要 趋 
势 , 是 新 一 代 个 性 化 数字 图 书馆 必需 参考 的 对 象 。 

(1) 用 户 建 模 的 技术 来 自 人 工 智能 的 应 用 。 具 体 技术 
线路 为 : 基于 进化 理论 的 遗传 编程 ( genetic programming， 
GP) 学 习 机 技术 ,来 优化 文件 在 向 量 空 间 中 的 权重 , 达到 
从 个 人 查询 以 至 不 同 排名 结果 程度 上 的 的 网 页 搜索 排名 
功能 ; 或 者 , 以 模糊 集 与 模糊 逻辑 ( fuzzy sets and fuzzy 
logic) 对 用 户 满意 度 评分 , 来 优化 (工作 ) 搜索 。 无 论 是 遗 
传 算法 还 是 模糊 逻辑 , 其 底层 数据 无 非 来 自用 户 兴趣 .用 
户 偏好 和 用 户 查 询 。 根 据 用 户 行为 进行 用 户 建 模 , 再 转化 
为 用 户 文档 建立 个 性 化 服务 ,已 是 一 项 发 展 趋势 。 

(2 用户 文 档 应 用 在 信息 检索 系统 和 网 页 搜索 引擎 。 
具体 技术 线路 为 :根据 观察 用 户 行为 和 行动 , 动态 结构 化 
用 户 文 档 ( 建立 用 户 兴 趣 的 相关 词组 ) , 以 运用 在 信息 检索 
系统 的 延伸 查询 功能 ,可 用 来 改变 搜索 引擎 排名 顺序 。 这 
种 技术 线路 的 重点 不 是 让 用 户 建 模 删 选 和 过 滤 搜 索 结 果 ， 
而 是 改变 搜索 结果 ,在 用 户 文 档 中 的 用 户 兴 趣 、 用 户 偏 好 、 
用 户 查 询 记录 和 相关 词组 是 不 断 改变 的 模式 下 , 用 户 文 档 
参与 到 网 页 排名 和 文献 相关 性 排名 。 

用 户 建 模 成 为 搜索 过 程 的 方式 很 多 ,是 未 来 研究 个 性 化 
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搜索 引擎, 力 至 搜索 引擎 的 一 项 最 主要 趋势 。 其 巨大 潜力 在 
于 : 非 传统 意义 上 的 用 户 参 与 (User engagemenb , 而 它 还 未 
完全 显现 在 搜索 引擎 服务 中 , 力 至 个 性 化 数字 图 书馆 中 。 


2 ”应 用 :优化 数字 图 书馆 的 检索 系统 


学 者 用 500 个 词汇 查询 Google、Yahoo、Live 和 Ask 
等 4 个 搜索 引擎 , 在 42, 758 笔 结 果 的 基础 上 分 析 搜 索引 
擎 的 搜索 结果 , 发 现 Google 和 Yahoo 偏好 引用 自家 服务 
(如 YouTube 和 Yahoo Answers)。 数 字 图 书馆 并 没有 类 
似 间 题 。 然 而 , 传统 的 个 性 化 数字 图 书馆 只 有 3 种 个 性 化 
搜索 引擎 的 其 中 一 种 技术 ,而 且 较 多 从 数据 库 检 索 系 统 的 
角度 , 而 非 网 页 搜索 引擎 的 角度 来 发 挥 个 性 化 服务 。 

采用 第 2 种 角度 , 可 以 丰富 数字 图 书馆 的 信息 组 织 和 
检索 。 例 如 , 在 医疗 领域 中 的 博客 ( blog) 和 微 博 客 ( Micro 
blogging) 可 否 算是 医疗 资源 , 是 否 为 数字 图 书馆 的 信息 资 
源 ? 有 学 者 研究 : 病 患 和 护士 描述 它们 的 生活 , 而 医生 则 
在 博客 上 发 布 保健 相关 信息 ,这 种 内 容 差 异 可 被 搜索 引擎 
进行 排名 改进 , 以 利用 户 模 型 搜索 适当 的 知识 来 源 。 那 
么 ,支持 医疗 团队 的 信息 服务 就 需要 数字 图 书馆 的 个 性 化 
搜索 引擎 。 

电子 服务 (下 Service) 包括 : 合作 、 定制、 集成 和 适应 等 
4 种 模式 ,个 性 化 服务 的 精神 是 个 人 可 在 协作 环境 下 贡 
献 、 接 收 定制 的 或 个 性 化 的 信息 推荐 、 经 过 一 个 综合 系统 
或 过 程 , 获得 及 时 或 或 时 间 内 的 支援 投入 。 这 要 求 数字 图 
书馆 的 个 性 化 搜索 引擎 能 提供 精确 的 搜索 结果 , 以 节省 终 
端 用 户 在 信息 搜寻 行为 (Information seeking behavior) 所 
花费 的 时 间 , 好 节省 这 段 时 间 做 其 它 方面 工作 。 个 性 化 服 
务 从 来 就 不 止 局 限 在 个 性 化 数字 图 书馆 里 的 信息 提供 环 
,而 是 终端 用 户 的 整个 工作 流程 中 。 学 者 研究 显示 : 基 
础 科学 研究 员 通 常 利用 关键 词 在 数据 库 或 网 络 搜索 引擎 
进行 搜索 , 而 未 见 图 书馆 资源 或 服务 整合 到 他 们 的 工作 
中 , 建议 : 4 图 书馆 资源 应 该 可 透 过 它们 专业 网 站 而 获取 ; 
@ 增 养 与 关键 行政 部 门 的 人 事 关 系 ; @ 集 中 并 管理 校园 学 
术 信 息 到 机 构 知 识 库 。 

目前 , 人 们 已 用 各 种 方式 来 建立 新 的 数字 图 书馆 系 
统 。 例 如 , 采用 手动 编辑 用 户 兴 趣 到 文本 分 类 训练 器 , 个 
性 化 目录 系统 结合 用 户 兴趣 和 分 类 目录 , 比 目 录 系 统 
(categorization system, CAT) 和 表单 系统 ( list interface 
system, LIST) 更 快 . 更 容易 发 现 相 关 信 息 。 再 如 ,以 本 体 
论 建立 阿拉 伯 语 和 英语 的 产品 目录 检索 系统 ( 其 自然 语言 
不 同 需要 双语 本 体 优 化 搜索 引擎 ) 。 又 如 , 根据 用 户 文档 
(user profile) 建立 模糊 概念 网 络 的 档案 检索 系统 , 按照 用 
户 偏 好 提供 个 性 化 网 页 和 相关 文件 等 。 这 些 研究 显示 了 
用 户 模 型 对 数字 图 书馆 的 重要 性 。 

用 户 不 一 致 的 相关 性 判断 、 排 名 和 相关 性 标准 ,会 改变 
个 性 化 搜索 系统 的 评价 , 特别 是 对 排名 相似 性 和 相关 性 标 
准 随机 性 的 测量 和 估计 。 基 于 这 个 理论 , 进行 ' 用户 行为 
用 户 文 档 用 户 建 模 个 性 化 服务 "的 新 模型 就 有 其 必要 性 。 

当 数 字 图 书馆 开发 个 性 化 搜索 引擎 时 , 首先 , 搜索 引 
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需要 能 够 有 效 地 识别 用 户 的 利益 , 也 为 个 人 用 户 建立 一 
个 配置 文件 ; 其 次 , 一 旦 这 样 的 配置 文件 是 可 用 的 , 搜索 引 
需要 与 排名 的 方式 相 匹 配 的 一 个 给 定 用 户 的 利益 的 结 
果 。 然 而 , 用 户 不 会 主动 地 提出 个 人 嗜好 , 所 以 要 充分 利 
用 用 户 的 历史 行为 记录 , 来 挖 据 用 户 行为 的 可 能 规律 以 及 
建立 用 户 配置 文档 ; 再 次 , 根据 他 们 过 去 的 查询 记录 , 即 关 
键 词语 来 建立 可 进行 语义 近似 推理 的 本 体 论 。 
在 这 个 过 程 中 ,用 户 文档 (User profiling) 是 个 性 化 应 
用 的 基础 元 素 , 许 多 用 户 文档 建立 在 用 户 兴 趣 而 不 是 “ 用 
户 不 感 兴趣 " 的 内 容 上 。 透 过 个 性 化 查询 聚 类 方法 ,测试 
用 户 正 向 负 向 偏好 的 优化 策略 , 可 利用 凝聚 聚 类 算法 ( ag- 
glomerative clustering algorithm) 优化 个 性 化 查询 结果 。 
凝聚 聚 类 算法 简单 来 说 就 是 一 种 分 群 算法 , 首先 把 每 个 点 
当 作 一 个 群落 , 接着 透 过 一 些 距离 量 测 方式 选择 要 合并 的 
点 ,如 此 反复 直到 所 有 点 都 被 凝聚 在 一 起 为 止 。 这 项 技术 
的 进一步 延伸 ,就 会 和 创建 与 使 用 型 人 ( creating and using 
personas) 结合 ,成 为 从 用 户 行为 判断 用 户 群 组 , 从 用 户 群 
组 和 当前 用 户 查 询 词汇 判断 信息 推荐 。 
换 句 话说 , 所 有 新 一 代数 字 图 书馆 系统 的 建立 ,环绕 在 
“用 户 行为 用户 文档 用 户 建 模 个 性 化 服务 ”这 一 模型 上 。 


3 用户 驱 动 个 性 化 搜索 服务 


在 Yahoo、Google 和 Bing 等 搜索 引擎 逐一 诞生 后 , 人 
们 总 是 欣喜 后 不 久 就 不 再 满足 于 主题 内 容 (分 类 ) 检索 、 大 
众 化 排名 统计 检索 , 以 及 相近 内 容 ( 聚 类 ) 检索 等 服务 模 
式 。 人 们 既 想 让 这 些 技术 为 自己 服务 , 同时 也 想 让 自己 的 
搜索 引擎 结果 属于 自己 , 而 非 大 众 。 这 样 , 就 有 了 个 性 化 
搜索 引擎 的 服务 模式 。 它 集成 所 有 人 的 搜索 过 程 , 包括 检 
素 式 、 浏 览 . 点 击 和 停留 时 间 等 , 作为 分 析 用 户 行为 模型 的 
依据 , 同时 又 从 这 种 用 户 模型 推导 相关 文件 、 排 除非 相关 
文献 、 进 行 网 页 或 文献 排名 等 ,再 根据 用 户 文档 中 的 用 户 
兴趣 和 用 户 偏好 的 不 同 , 提供 个 性 化 搜索 内 容 。 简 车 之 ， 
是 一 种 ' 从 集成 信息 到 分 殊 服务 ”的 模式 。 

这 种 模式 不 难 在 商业 活动 中 发 现 。 过 去 , 多 数 BtoC 
电子 商务 系统 的 搜索 引擎 只 能 让 用 户 搜索 产品 的 编号 、 
类 和 价格 , 而 忽视 可 以 采用 代理 技术 去 参与 买 家 和 卖家 的 
交易 。 学 者 建议 : 采用 代理 技术 可 以 综合 考虑 价格 、 数量、 
品牌 、 包 小 、 交 货 时 间 等 因素 , 从 而 优化 搜索 引擎 , 在 反复 
交易 和 检索 过 程 中 , 达到 个 性 化 推荐 最 适合 的 产品 给 当前 
用 户 。 这 种 技术 可 以 为 数字 图 书馆 参考 。 

本 文系 统 地 梳理 优化 搜索 引擎 的 3 种 用 户 建 模 方 式 : 
限定 搜索 方式 .过滤 搜 索 结 果 以 及 成 为 搜索 过 程 等 。 对 优 
化 数字 图 书馆 检索 系统 , 提出 ' 用 户 行为 (用 户 兴趣 ,用户 仿 
好 ,用户 查 询 记 录 ) - 用 户 文档 (用 户 行 为 与 关键 词组 ) -~ 用 
户 建 模 (相关 性 算法 与 排名 算法 )- 个 性 化 服务 ”模型 。 

其 中 , 用 户 建 模 成 为 搜索 过 程 还 有 许多 研究 空间 。 如 
果 用 户 意向 被 更 好 地 运用 , 则 能 够 一 般 化 文本 片段 抽取 
(text snippet extraction) , 比方 使 用 统计 语言 模型 捕获 文 
档 和 用 户 意向 的 共性 。 而 采用 类 似 网 页 排名 ( Pag eRank) 
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的 实例 算法 ( InstanceRank) 能 减少 实例 集 的 大 小 , 从 学 习 
库 中 选择 最 有 代表 性 的 实例 。 在 扩展 个 性 化 搜索 引擎 的 
未 来 研究 方面 , 有 研究 显示 社会 媒体 网 站 构成 了 相当 一 部 
分 的 搜索 结果 。 这 说 明了 社会 媒体 作为 个 性 化 搜索 引擎 
的 一 部 分 。 此 外 , 透 过 连续 主 成 分 分 析 ( continuous princr 
pal component analysis, CPCA) 进行 传 里 叶 级 数 (Fourier 
series) 计算 , 以 求 得 三 维 模型 的 平移 (translation)、 旋 转 
(rotation) 、 翻 转 ( flipping) 和 大 小 ( scale) , 能 够 让 搜索 引擎 
用 形状 相似 性 搜索 三 维 模型 数据 库 。 这 说 明了 虚拟 社会 
可 作为 个 性 化 搜索 引擎 的 一 部 分 。 这 些 研 究 方向 值得 后 
续 仍 踪 和 探索 。 
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